Biological model of motion integration and segmentation based on form cues

Active vision is an essential part of every biological organism possessing an eye system: posture, eye movements, visual research, . . . All require a motion percept to operate. At the basis of active vision lays the ability to calculate movements of objects in the scene, at least on a su cient level to react correctly. In this report we present a model of motion integration and segmentation in the rst visual cortex areas. Speci cally we modeled the rst two cortex areas involved in motion processing in the primate: V1 and MT. To be able to process motion correctly a visual system also need to deal with form information. We investigate how form cues coming from the ventral pathway can be used by the V1/MT dorsal pathway to solve some perception problems. By using a recurrent dynamical system between the V1 and MT layers we are able to nd out psychophysical results such as motion integration and center-surround e ects due to the feedback connections, or end-of-line and 2D features detectors thanks to the shunting inhibition. We propose to modulate this system by a form information coming from the ventral stream and are thus able to explain asymmetric center-surround e ects as well as motion segmentation and segregation between extrinsic and intrinsic junctions. Key-words: motion estimation, optical ow, bio-inspired vision, MT area, feedbacks, center-surround integration, shunting inhibition ∗ INRIA Sophia Antipolis, Projet Odyssée, 2004 Route des Lucioles, 06902 Sophia Antipolis † INCM, Equipe DyVA UMR 6193 CNRS-Université de la Méditerranée 31, chemin Joseph Aiguier 13402 Marseille cedex in ria -0 01 72 41 2, v er si on 2 17 S ep 2 00 7 Modèle biologique d'intégration et de segmentation du mouvement basé sur la forme Résumé : La vision active est une partie essentielle de tout organisme biologique possédant un système visuel: la posture, les mouvement des yeux, la recherche visuelle, . . . tous nécessitent un percept de mouvement pour fonctionner. À la base de la vision active, le calcul des mouvements des objets de la scène est priordial. Au moins à un niveau su sant pour pouvoir réagir correctement. Dans ce rapport nous présentons un modèle d'intégration et de segmentation du mouvement dans les premières aires du cortex visuel. En particulier nous modélisons deux zones impliquées dans le traitement du mouvement chez le macaque: V1 et MT. Pour être capable de traiter correctement le mouvement, le système visuel a aussi besoin de manipuler des informations de forme. Nous étudions comment les informations de forme venant du système ventral peuvent être utilisées dans les zones V1/MT du système dorsal pour résoudre des problèmes de perception. En utilisant un système dynamique avec des rétroactions entre les aires V1 et MT nous sommes capable de retrouver des résultats psychophysiques tels que l'intégration du mouvement et les e ets de voisinage dus à la rétroaction, ou bien des détecteurs de n de ligne et d'information univoque grace à l'inhibition latérale. Nous proposons une modulation du système par une information de forme venant du système ventral mettant ainsi en évidence des e ets de voisinage asymétrique de même qu'une segmentation du mouvement et des discriminations entre jonctions extrinsèques et intrinsèques. Mots-clés : estimation du mouvement, ot optique, vision bio-inspirée, aire MT, rétroaction, intégration centre-périphérie, inhibition latérale in ria -0 01 72 41 2, v er si on 2 17 S ep 2 00 7 Biological model of motion integration and segmentation based on form cues 3